package org.example.sparkdemo

import org.apache.spark.{SparkConf, SparkContext}

object SimpleApp {
  def main(args: Array[String]): Unit = {
    // README.md 文件路径
    val logFile = "hdfs://192.168.134.130:9000/README.md";
    // 设置 SparkConf
    val conf = new SparkConf().setAppName("Simple Application").setMaster("local[*]");
    // 创建 SparkContext
    val sc = new SparkContext(conf)
    // 读取 README.md 文件数据
    val logData = sc.textFile(logFile)
    // 统计包含字母'a'的行数
    val numAs = logData.filter(line => line.contains("a")).count()
    // 统计包含字母'b'的行数
    val numBs = logData.filter(line => line.contains("b")).count()
    // 打印结果
    println("含有字母a: %s行, 含有字母b: %s行".format(numAs, numBs))
  }
}
